Xã được thành lập vào cuối thế kỷ XVIII cùng với việc thành lập tỉnh Mường.Trước năm 1945 xã Yên Đội Thượng (sau này là Khoan Dụ) thuộc tổn Gia Viễn, tỉnh Ninh Bình. Ở thời điểm đó xã Yên Đội có 11 thôn là:Tràng Sơn, Hoàng Đồng, Bến Trải, Tròm É, Đồi Cả, Rộc Côm, Rộc Trụ, Rộc Rạ, Đông Yên, Đảng Thượng,Đảng Hạ. Tháng 10/1945 xã Yên Đội Thượng thuộc châu Chi Nê, tỉnh Hà Nam. Năm 1946 xã Yên Đội Thượng được đổi tên thành xã Khoan Dụ. Năm 1953 Chính phủ quyết định tách xã Khoan Dụ ra khỏi tỉnh Hà Nam để nhập về tỉnh Hòa Bình, từ đó đến nay xã Khoan Dụ thuộc huyện Lạc Thủy tỉnh Hòa Bình.Hiện tại xã Khoan Dụ có 6 thôn là: Liên Sơn, Hoàng Đồng, Liên Hồng I, Liên Hồng II, Rộc Trụ I, Rộc Trụ II. Đến nay chưa có căn cứ khoa học nào lý giải về 2 từ Khoan Dụ, theo một số ý kiến cho rằng"Dụ" ở thời điểm đó là chỉ văn bản, quyết định của triều đình phong kiến còn "Khoan" có thể hiểu là tạm dừng ra chỉ dụ để thực hiện vào dịp khác.

Tháng 2/1930 Đảng CSVN được thành lập thì đến ngày 21 tháng 12 năm 1930 tại xã Khoan Dụ đã có tổ Đảng được thành lập tại Thôn Hoàng Đồng, đây là tổ chức Cộng sản đầu tiên của huyện Lạc Thủy, tỉnh Hòa Bình

Trong kháng chiến chống Pháp địa bàn Khoan Dụ là nơi sơ tán của liên khu III, nhiều đơn vị quân đội đã dóng chân trên địa bàn Khoan Dụ như viện 5 QK3, xưởng Đinh Bộ Lĩnh...

xã Khoan Dụ được phong tặng danh hiệu anh hùng LLVT thời kỳ chống Pháp vào năm 2005